大家好，昨天我們練完了對抗性訓練與差分隱私，今天我們要來聊聊 Domain 2 的最後兩個大考點：聯邦學習（Federated Learning）與安全 AISDLC 流程。

想像一個場景：
三家大醫院想要聯合訓練一個偵測罕見癌症的 AI，但因為隱私法規（例如 GDPR 或是醫療個資法），醫院絕對不能把病患資料傳給其他機構。
資料集中不起來，AI 就不夠聰明，這該怎麼辦？

聯邦學習給出了一個超聰明的解決方案：「我們不移動資料，我們只移動模型的學習結果！」

今天我們就來聊聊這個保護隱私的聯合訓練技術，以及如何把資安融入 AI 開發的生命週期。

一、 聯邦學習（Federated Learning, FL）

傳統上訓練 AI，要把大家的資料通通打包，上傳到一個中央伺服器去訓練。
而聯邦學習則是反過來：

傳統集中式學習：
  醫院 A, B, C 的資料 ───→ 上傳中央伺服器 ───→ 訓練模型 (個資外洩風險)

聯邦學習：
  1. 中央伺服器把「初始模型」發給醫院 A, B, C。
  2. 三家醫院各自在本地，用自己的主機和資料去訓練模型。
  3. 訓練完後，資料不外傳，只上傳「模型更新參數（梯度更新）」。
  4. 中央伺服器把大家的參數平均融合，更新出一個更強的「全局模型（Global Model）」。
  5. 重複好幾輪，大家的原始資料自始至終都沒有離開過自己的機房。

這項技術現在非常普及。像 Google 鍵盤（Gboard）在學習使用者的打字習慣時，就是利用聯邦學習在大家的 Android 手機上進行本地訓練，絕對不會把你的私密對話上傳。

二、 聯邦學習面臨的新地雷

聯邦學習雖然防住了原始資料外洩，但也帶來了新的安全考驗：

1. 梯度洩漏（Gradient Leakage）

雖然沒傳原始資料，但研究發現，如果駭客去攔截上傳的「梯度更新」參數，透過精密的數學推算，一樣有機會「逆向工程」還原出原始照片或資料。

• 怎麼防？：聯邦學習 + 差分隱私。在上傳梯度前，先在本地進行差分隱私加噪，這就是業界公認的黃金防禦組合！

2. 拜占庭攻擊 / 惡意節點（Byzantine Attack）

如果參與訓練的其中一家醫院被駭客控制了，惡意節點提交了一堆「亂寫的惡意參數」，就會把全體好不容易訓練出來的模型給直接帶歪。

• 怎麼防？：在中央伺服器聚合參數時，不用傳統算術平均數，改用「拜占庭容錯聚合演算法」（比如中位數聚合），自動排除那些偏差極端的異常更新。

三、 安全 AI SDLC（安全 AI 軟體開發生命週期）

傳統軟體開發有 SDLC（系統開發生命週期）與 DevSecOps。
但 AI 開發還牽涉到資料收集、訓練和模型部署，傳統的資安檢核點根本不夠用。
所以我們需要 安全 AI SDLC，也就是在 AI 誕生的每一個階段，都塞入對應的資安控制措施。

💡 安全 AISDLC 各階段的硬核實踐

要在 AI 的生命週期中落實資安，不能只做大綱式的口水檢核，每個階段都有實質的技術控制：

• 1) 需求規劃 ── 威脅建模（Threat Modeling）：
  不只做傳統 IT 威脅評估，必須針對 AI 做專屬的威脅建模。例如採用 STRIDE 威脅模型 盤點：AI 的輸入 API 會不會面臨「竄改（Tampering）」（提示詞注入）？模型的權重檔案會不會面臨「資訊洩漏（Information Disclosure）」（模型竊取）？
• 2) 資料收集 ── 差分隱私與去識別化（De-identification）：
  如果訓練資料涉及用戶個資，必須在資料進入 MLOps 管線之前，先進行 PII 去識別化。採用 K-Anonymity（k-匿名化） 或 L-Diversity（l-多樣性） 演算法對敏感資料進行統計模糊，確保即便訓練集外流，也無法關聯到真實個人。
• 3) 模型開發 ── 軟體物料清單（SBOM）與套件漏洞掃描：
  使用軟體組成分析工具（SCA，如 pip-audit 或是 Snyk）自動掃描 Python 開發依賴樹，產生並簽核組織的 SBOM（軟體物料清單）。嚴格禁止在未經 Hash 簽章驗證的情況下，自動下載或更新第三方 MLOps 套件，徹底防範依賴混淆攻擊。
• 4) 模型訓練 ── 拜占庭容錯聚合與對抗性增強：
  如果模型有進行分散式或線上學習（Online Learning），必須採用**拜占庭容錯聚合演算法（如 Krum 演算法）**來聚合梯度，排除異常更新。同時，可在訓練中混入 5% 的對抗性樣本（對抗性訓練），預防接種。
• 5) 評估測試 ── 主動紅隊演練（AI Red Teaming）：
  上線前不能只用標準的測試集（Clean Test Set）來測準確率。必須建立一組專門的「對抗性測試集（Adversarial Test Set）」，包含各種常見的越獄、標籤翻轉與對抗雜訊照片。聘請 AI 紅隊，手動與自動化地用攻擊腳本狂敲 API，驗證模型耐打度。
• 6) 部署上線 ── 輸入/輸出雙向護欄與 API 權限管理：
  部署時，在 API 閘道端強制套用 OAuth 2.0 雙重認證與動態速率限制（Rate Limiting）。在 API 的入口和出口套用 Llama Guard 或 NeMo Guardrails 雙向護欄，過濾輸入（防注入）與輸出（防模型反轉外洩個資）。
• 7) 持續監控 ── 漂移（Drift）監控與行為審計：
  部署後必須天天分析輸入與輸出的統計分布。如果發現最近使用者輸入的資料分布（Data Distribution）與當初訓練集有顯著差異，代表發生了 Data Drift（資料漂移）；如果 AI 判定垃圾郵件的召回率下降，代表發生了 Model Drift（模型漂移）。一旦偵測到漂移，必須立刻觸發警報，重啟安全訓練管線（Re-training Pipeline）。

四、 什麼是 AI 紅隊演練（AI Red Teaming）？

就像傳統資安會請駭客來攻擊公司網路一樣，AI 紅隊就是扮演惡意駭客，用盡各種手段去主動攻擊已經部署好的 AI 系統。
他們會嘗試：

• 瘋狂輸入各種奇形怪狀的「越獄提示詞（Jailbreaks）」。
• 嘗試發動「提示詞注入」，看能不能偷走後台的資料庫。
• 用對抗性樣本去打圖片辨識系統。
• 測試會不會發生模型反轉，把當初訓練的個資套出來。

考試會怎麼考？

我們來看這題 SecAI+ 模擬題：

「一個安全團隊正在為新開發的客戶服務大模型規劃安全測試。在部署前，他們聘請了外部安全專家扮演攻擊者，利用各種越獄、提示詞注入以及資料提取技術，對該模型進行主動的對抗性安全測試。請問這項活動最符合以下哪種安全實踐？」

A. 差分隱私審計
B. 拜占庭容錯測試
C. AI 紅隊演練（AI Red Teaming）
D. 模型漂移監控

答案是 C。
解題關鍵字：「扮演攻擊者」、「用越獄、提示詞注入、資料提取發動主動對抗性安全測試」。這就是標準的 AI 紅隊演練 的工作範疇。

今天的重點總結：

• 聯邦學習：原始資料留在本地，只上傳梯度參數更新，解決個資跨機構傳輸的合規痛點。
• 黃金防守組合：聯邦學習（防止資料離開） + 差分隱私（防止梯度被反推）。
• 安全 AI SDLC：從資料收集、套件版本鎖定、到模型監控，每個階段都有資安檢核點。
• AI 紅隊演練：主動扮演駭客，用各種越獄、對抗性攻擊去戳模型，找出弱點。

明天我們要為整個 Domain 2 進行攻防對比的完整大複習。我們要用一張清晰的大表，把前十幾天學過的所有攻擊與防禦對照關係徹底鞏固！
我們明天見啦！